We introduce Action-GPT, a plug and play framework for incorporating Large Language Models (LLMs) into text-based action generation models. Action phrases in current motion capture datasets contain minimal and to-the-point information. By carefully crafting prompts for LLMs, we generate richer and fine-grained descriptions of the action. We show that utilizing these detailed descriptions instead of the original action phrases leads to better alignment of text and motion spaces. Our experiments show qualitative and quantitative improvement in the quality of synthesized motions produced by recent text-to-motion models. Code, pretrained models and sample videos will be made available at https://actiongpt.github.io
translated by 谷歌翻译
室内运动计划的重点是解决通过混乱环境导航代理的问题。迄今为止，在该领域已经完成了很多工作，但是这些方法通常无法找到计算廉价的在线路径计划和路径最佳之间的最佳平衡。除此之外，这些作品通常证明是单一启动单目标世界的最佳性。为了应对这些挑战，我们为在未知室内环境中进行导航的多个路径路径计划者和控制器堆栈，在该环境中，路点将目标与机器人必须在达到目标之前必须穿越的中介点一起。我们的方法利用全球规划师（在任何瞬间找到下一个最佳航路点），本地规划师（计划通往特定航路点的路径）以及自适应模型预测性控制策略（用于强大的系统控制和更快的操作） 。我们在一组随机生成的障碍图，中间航路点和起始目标对上评估了算法，结果表明计算成本显着降低，具有高度准确性和可靠的控制。
translated by 谷歌翻译
通过脑电图信号的情绪分类取得了许多进步。但是，诸如缺乏数据和学习重要特征和模式之类的问题始终是具有在计算和预测准确性方面改进的领域。这项工作分析了基线机器学习分类器在DEAP数据集上的性能以及一种表格学习方法，该方法提供了最新的可比结果，从而利用了性能提升，这是由于其深度学习架构而无需部署重型神经网络。
translated by 谷歌翻译
该报告涵盖了我们对Chaplot等人的“使用变压器的可区分空间计划”的复制工作。。在本文中，考虑了以可不同方式进行空间路径计划的问题。他们表明，他们提出的使用空间规划变压器的方法优于先前数据驱动的模型，并利用可不同的结构来学习映射而无需同时地面真相图。我们通过重现其实验并在新数据上测试其方法来验证这些主张。我们还通过地图提高了障碍物复杂性，研究了计划准确性的稳定性。努力调查和验证映射模块的学习的努力是由于缺乏计算资源和无法到达的作者而导致的失败。
translated by 谷歌翻译
以下论文是“社会NCE：对社会意识的运动表示的对比度学习”的可重复性报告。\ footNote {\ href {https://github.com/vita-epfl/social-nce} {https://github.com/vita-epfl/social-nce}}}。我们试图验证作者声称的结果，并在Pytorch Lightning中重新成熟。
translated by 谷歌翻译
经过Imagenet训练的Pytorch型号通常是直接使用或在大多数计算机视觉任务中进行初始化的现成模型。在本文中，我们只是在许多简单的图像变换下，仅测试这些卷积和基于变压器模型的代表性集由这种转变引起。我们发现，即使是简单的转换，例如将图像旋转10 {\ deg}或20％的放大也可以降低Resnet152（例如Resnet152）的前1个准确性，从而降低1％+。该代码可在https://github.com/harshm121/imagenet-transformation-degradation上获得。
translated by 谷歌翻译
我们解决了分类中群体公平的问题，目的是学习不会不公正地歧视人口亚组的模型。大多数现有方法仅限于简单的二进制任务或涉及难以实施培训机制。这降低了他们的实际适用性。在本文中，我们提出了Fairgrad，这是一种基于重新加权方案来实施公平性的方法，该计划根据是否有优势地迭代地学习特定权重。Fairgrad易于实施，可以适应各种标准公平定义。此外，我们表明它与各种数据集的标准基线相媲美，包括自然语言处理和计算机视觉中使用的数据集。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
We propose a multi-agent reinforcement learning dynamics, and analyze its convergence properties in infinite-horizon discounted Markov potential games. We focus on the independent and decentralized setting, where players can only observe the realized state and their own reward in every stage. Players do not have knowledge of the game model, and cannot coordinate with each other. In each stage of our learning dynamics, players update their estimate of a perturbed Q-function that evaluates their total contingent payoff based on the realized one-stage reward in an asynchronous manner. Then, players independently update their policies by incorporating a smoothed optimal one-stage deviation strategy based on the estimated Q-function. A key feature of the learning dynamics is that the Q-function estimates are updated at a faster timescale than the policies. We prove that the policies induced by our learning dynamics converge to a stationary Nash equilibrium in Markov potential games with probability 1. Our results demonstrate that agents can reach a stationary Nash equilibrium in Markov potential games through simple learning dynamics under the minimum information environment.
translated by 谷歌翻译
除了使用硬标签的标准监督学习外，通常在许多监督学习设置中使用辅助损失来改善模型的概括。例如，知识蒸馏增加了第二个教师模仿模型训练的损失，在该培训中，教师可能是一个验证的模型，可以输出比标签更丰富的分布。同样，在标记数据有限的设置中，弱标记信息以标签函数的形式使用。此处引入辅助损失来对抗标签函数，这些功能可能是基于嘈杂的规则的真实标签近似值。我们解决了学习以原则性方式结合这些损失的问题。我们介绍AMAL，该AMAL使用元学习在验证度量上学习实例特定的权重，以实现损失的最佳混合。在许多知识蒸馏和规则降解域中进行的实验表明，Amal在这些领域中对竞争基准的增长可显着。我们通过经验分析我们的方法，并分享有关其提供性能提升的机制的见解。
translated by 谷歌翻译